DataWorks 业务
https://www.aliyun.com/product/bigdata/ide
- 数据开发业务
- 性能优化?
- 接口 recheck
DataWorks 数据工场,是 MaxComputer 的可视化开发平台,一站式开发、管理界面。
数加是阿里云的一站式大数据平台,可以提供数据采集、结构化、加工到展示分析整套的一站式服务。可以采集不同系统及物理存储的源头数据,在分布式计算平台上进行数据的深度整合、计算、挖掘,将计算的结果通过可视化的工具进行个性化的数据分析和展现。也可以直观地展示分析现有云上业务系统的数据库数据。
缺点:
- 需要捆绑阿里云才能使用,一般用户不能真正使用起来
- 部分体验功能一般,有一定的学习成本
- 很多操作都是需要付费才可以使用的
功能概述
1.强大调度:支持分钟到月的调度
2.多种任务:支持 ODPS、SHELL 等多种任务
3.可视化开发:B/S 架构的可视化开发界面,简单易上手
Max Compute
感觉就是用来做调用任务,大数据的计算的。
DataStudio 底层依赖于 MaxCompute(原 ODPS)引擎,针对离线场景,MaxCompute 提供了强大的运算能力.
基本开发流程
主要包括:建表上传数据->创建工作流->创建同步任务->创建周期和依赖->运维日志排错
1. 建表上传数据
在任务开发中新建一个节点任务,写入 DDL 建表语句,运行即可完成建表
2. 创建工作流
任务类型可以选择: 工作流任务和节点任务。 并且可以选择保存的工作目录 ???
岗位描述
阿里云计算平台 DataWorks 团队,主要产品为 DataWorks,数据开发分析平台。是阿里云飞天平台的核心服务。面向阿里巴巴经济体、阿里云提供统一的大数据服务。 目前服务部署总规模超过 10 万台物理服务器,分布在全球超过 10 个数据中心,是阿里云大数据计算领域主力产品。经历了历年阿里双 11 的历练,弹外服务万家企业,目前已经打造了业界领跑的云计算分析平台。 加入我们,你可以亲身参与打造和优化一个与国民生活息息相关的计算平台(例如,你有机会优化淘宝/天猫的商户账单的产出速度,有机会优化“饿了吗”的调度算法执行,有机会进入双 11 作战室保障系统 10X 流量的冲击)。 同时,你也会直面 EB 级别的超大规模分布式计算在功能、性能、效率、安全性和扩展性上的挑战,也有机会接触到搜索、广告、物流、IoT、OTO、互联网金融等多种业务场景及其与平台的联动。 你会和阿里巴巴计算平台团队一起,推动建设高效的编程语言/接口,计算引擎,分布式调度能力,资源统筹和协调能力,数据资产管理能力,隔离能力,数据存储和管理能力。 未来已来,今后几年会全面步入大数据和人工智能的普惠时代,我们邀请有热情、有想法、有经验、有能力的你,和我们一起并肩作战! 职位描述: 阿里云大数据前端团队主要负责阿里云大数据开发平台 DataWorks,数据可视化相关的业务, 1、关注用户体验,不断改进服务的易用性; 2、用最前沿的前端技术与算法团队一起探索未来多种平台的前端交互方式 3、参与前端框架建设,并不断优化前端工具链 4、改进协作流程,创建技术标准和规范; 5、参与新人培训和前端技术布道。
职位要求:1、3 年以上开发经验,能熟练使用常见类库或框架,编写高质量的前端代码; 2、熟练掌握 React 、Angular 、Vue 及相关框架和技术; 3、熟练掌握 CSS3 、HTML5 、ES6 、Gulp 、Webpack 等规范和技术; 4、熟练使用 Canvas 、 SVG 、 D3.js 等可视化技术者优先; 5、有 WebVR 、WebGL 、Three.js 经验者优先; 6、有浏览器端音频、视频、图像处理经验者优先; 7、有前端深度优化或者大型网站开发经验者优先; 8、有广泛使用的开源项目优先; 9、该岗位同时适用于北京/杭州。 我们鼓励人人践行公益,同学如参与过公益活动,有相关证明,也欢迎附在简历中。参考依据包括但不限于:全国志愿服务信息系统开具的志愿服务证明、“人人 3 小时”公益平台公益时证书、志愿服务组织(含社会团体、社会服务机构、基金会)授予的志愿服务证明等。
架构演进
为了解决前端人力瓶颈,我们希望将 DataWorks 平台做到更加开放,可以为 DataWorks 引入用户侧的研发能力,当然这也是基于用户侧各种个性化的需求而不得不考虑的架构升级。DataWorks 在去年开始进行 Studio 插件化架构升级,基于前面抽取的 Studio 基础底座,在上层通过插件化方式开放了 DataStudio 的常用扩展能力。目前已经通过该方式对接了一个新引擎(Analysis DataBase)的完全自主接入,通过这种方式极大简化了新引擎搭建数据开发 Studio 的流程和开发工作量,同时也解放了前端团队的人力(原先新接入一个引擎,需要前端团队针对新引擎进行定制开发)。
阿里经济体每个 BU 在达到一定的体量之后,慢慢都会衍生出大数据开发的需求,有一些 BU 可能会成立自己的数据小组来支撑 BU 对于大数据的需求,更甚的可能会自己搭建一个大数据平台。其实,在跟一些 BU 同事沟通过程中发现大部分的业务 BU 对于大数据平台的需求往往是因为 DataWorks 在局部一些点上无法满足特度的业务述求,而这一小部分的差异由于并不通用,DataWorks 作为一个大一统的开发平台无法承载业务特性的细节差异。
针对这个场景,DataWorks 基于之前的 Studio 底座统一 + 插件化技术架构基础上打造了 DataWorks 的开放平台,另外我们也将 DataWorks 中已有的能力提供给业务部门进行功能拼装 + 组合,从而赋能集团各业务团队进行数据开发平台的快速搭建。
总结下来,DataWorks 经历了(1)刀耕火种的单体应用时代、(2)组件化、(3)微前端 & 插件化三个时期的前端架构演进。